We present a method for simultaneously localizing multiple sound sources within a visual scene. This task requires a model to both group a sound mixture into individual sources, and to associate them with a visual signal. Our method jointly solves both tasks at once, using a formulation inspired by the contrastive random walk of Jabri et al. We create a graph in which images and separated sounds correspond to nodes, and train a random walker to transition between nodes from different modalities with high return probability. The transition probabilities for this walk are determined by an audio-visual similarity metric that is learned by our model. We show through experiments with musical instruments and human speech that our model can successfully localize multiple sounds, outperforming other self-supervised methods. Project site: https://hxixixh.github.io/mix-and-localize

We have a Christmas gift for Harry Potter fans all over the world. In this paper, we present Harry Potter Dialogue (HPD), a dataset that helps train Harry Potter-like dialogue agents. Such a task is typically viewed as a variant of personalized dialogue agents, but they differ significantly in three respects: 1) Harry lived in a virtual world of wizards, thus, real-world commonsense may not apply to Harry's conversations; 2) Harry's behavior is strongly linked to background information in conversations: the scene, its attributes and its relationship to other speakers; and 3) Such backgrounds are dynamically altered as the storyline goes on. The HPD dataset, as the first dataset to facilitate the study of dialogue agent construction for characters within a story, provides rich contextual information about each dialogue session such as scenes, character attributes, and relations. More importantly, all the background information will change over the course of the story. In addition, HPD could support both dialogue generation and retrieval tasks. We evaluate baselines such as Dialog-GPT and BOB to determine the extent to which they can generate Harry Potter-like responses. The experimental results disappoint us in that although the generated responses are fluent, they still seem out of character for Harry. Besides, we validate the current most robust dialogue agent, ChatGPT, which also can't generate plausible Harry-Potter-like responses in some cases, either. Our results suggest that there is much scope for future research.

现有的假新闻检测方法旨在将新闻分类为真或错误，并提供真实的解释，从而实现出色的表现。但是，他们经常根据有限的新闻报道和揭穿延误来定制手动事实检查报告的自动解决方案。如果尚未对一段新闻进行事实检查或揭穿事实，通常会在各种媒体上传播一定数量的相关原始报告，其中包含人群的智慧来验证新闻声明并解释其判决。在本文中，我们提出了一个新颖的粗到十五级别的级联证据依据（COFCED）神经网络，以根据此类原始报告来解释假新闻检测，从而减轻了对事实检查的依赖性。具体而言，我们首先使用层次结构编码器来用于Web文本表示，然后开发两个级联的选择器，以粗略至上的方式在所选的Top-K报告之上选择最可解释的句子。此外，我们构建了两个可解释的假新闻数据集，这些数据集可公开使用。实验结果表明，我们的模型显着优于最先进的基线，并从不同的评估角度产生高质量的解释。

高分辨率表示对于基于视觉的机器人抓问题很重要。现有作品通常通过子网络将输入图像编码为低分辨率表示形式，然后恢复高分辨率表示。这将丢失空间信息，当考虑多种类型的对象或远离摄像机时，解码器引入的错误将更加严重。为了解决这些问题，我们重新审视了CNN的设计范式，以实现机器人感知任务。我们证明，与串行堆叠的卷积层相反，使用平行分支将是机器人视觉抓握任务的更强大设计。特别是，为机器人感知任务（例如，高分辨率代表和轻量级设计）提供了神经网络设计的准则，这些指南应对不同操纵场景中的挑战做出回应。然后，我们开发了一种新颖的抓地视觉体系结构，称为HRG-NET，这是一种平行分支结构，始终保持高分辨率表示形式，并反复在分辨率上交换信息。广泛的实验验证了这两种设计可以有效地提高基于视觉的握把和加速网络训练的准确性。我们在YouTube上的真实物理环境中显示了一系列比较实验：https：//youtu.be/jhlsp-xzhfy。

这项工作提出了下一代人类机器人界面，只能通过视觉来推断和实现用户的操纵意图。具体而言，我们开发了一个集成了近眼跟踪和机器人操作的系统，以实现用户指定的操作（例如，抓取，拾取和位置等），在其中将视觉信息与人类的注意合并在一起，以创建为所需的映射机器人动作。为了实现视力指导的操纵，开发了一个头部安装的近眼跟踪设备，以实时跟踪眼球运动，以便可以确定用户的视觉注意力。为了提高抓地力性能，然后开发出基于变压器的GRASP模型。堆叠的变压器块用于提取层次特征，其中在每个阶段扩展了通道的体积，同时挤压了特征地图的分辨率。实验验证表明，眼球跟踪系统产生低的凝视估计误差，抓地力系统在多个握把数据集上产生有希望的结果。这项工作是基于凝视互动的辅助机器人的概念证明，该机器人具有巨大的希望，可以帮助老年人或上肢残疾在日常生活中。可在\ url {https://www.youtube.com/watch?v=yuz1hukyurm}上获得演示视频。

视频框架插值是一项艰巨的任务，这是由于不断变化的现实场景。先前的方法通常计算双向光流，然后在线性运动假设下预测中间光流，从而导致各向同性中间流量产生。随访研究通过估计的高阶运动信息和额外的帧获得各向异性调整。基于运动假设，它们的方法很难在真实场景中对复杂的运动进行建模。在本文中，我们提出了一种端到端训练方法A^2OF，用于视频框架插值，并通过事件驱动的各向异性调整光学流量调节。具体而言，我们使用事件为中间光流生成光流分布掩码，这可以对两个帧之间的复杂运动进行建模。我们提出的方法在视频框架插值中优于先前的方法，将基于事件的视频插值带到了更高的阶段。

成功地应用生成的对抗性网络（GaN）以研究感知单个图像超级度（SISR）。然而，GaN经常倾向于产生具有高频率细节的图像与真实的细节不一致。灵感来自传统细节增强算法，我们提出了一种新的先前知识，先前的细节，帮助GaN减轻这个问题并恢复更现实的细节。所提出的方法名为DSRAN，包括良好设计的详细提取算法，用于捕获图像中最重要的高频信息。然后，两种鉴别器分别用于在图像域和细节域修复上进行监督。 DSRGAN通过细节增强方式将恢复的细节合并到最终输出中。 DSRGAN的特殊设计从基于模型的常规算法和数据驱动的深度学习网络中获得了优势。实验结果表明，DSRGAN在感知度量上表现出最先进的SISR方法，并同时达到保真度量的可比结果。在DSRGAN之后，将其他传统的图像处理算法结合到深度学习网络中，以形成基于模型的深SISR。

半监控视频对象分段（VOS）旨在在视频序列中分段一些移动对象，其中通过注释第一帧来指定这些对象。已经考虑了许多现有的半监督VOS方法以提高分割精度的光学流程。然而，由于光学流量估计的高复杂性，光流基的半监控VOS方法不能实时运行。在该研究中提出了由特征提取网络（F），外观网络（A），运动网络（A）和集成网络（I）组成的FAMINET，以解决上述问题。外观网络基于对象的静态外观输出初始分割结果。运动网络通过很少的参数估计光学流量，这些参数通过在线记忆算法快速优化，该算法被称为松弛最陡血迹。集成网络使用光流来改进初始分割结果。广泛的实验表明，FAMINET在DAVIS和YOUTUBE-VOS基准上表现出其他最先进的半监督VOS方法，并且它在准确性和效率之间实现了良好的权衡。我们的代码可在https://github.com/liuziyang123/faminet获得。

空间变化暴露（SVE）是高动态（HDR）成像（HDRI）的有希望的选择。被称为单射HDRI的SVE的HDRI是一种有效的解决方案，以避免重影文物。然而，恢复从真实世界的图像与SVE恢复全分辨率的HDR图像是非常具有挑战性的，因为：a）在拜耳图案中，通过相机捕获具有不同曝光的三分之一的像素，B）捕获的一些捕获像素过于和暴露。对于以前的挑战，设计了一种空间变化的卷积（SVC）来设计以改变曝光的携带携带的拜耳图像。对于后者，提出了一种曝光 - 引导方法，以防止来自暴露和暴露的像素的干扰。最后，联合去脱模和HDRI深度学习框架被形式化以包括两种新型组件，并实现端到端的单次HDRI。实验表明，所提出的端到端框架避免了累积误差问题并超越了相关的最先进的方法。

从旋转天花板粉丝到滴答时钟，我们听到巧妙地变化的声音随着我们通过场景。我们询问这些环境声音是否传达有关3D场景结构的信息，如果是，它们是否提供了用于多模式模型的有用的学习信号。为学习这一点，我们从各种安静的室内场景中收集配对音频和RGB-D录音的数据集。然后，我们培训估计到附近墙壁的距离的模型，只有一个音频作为输入。我们还使用这些录音来通过自我监督来学习多式式表现，通过培训网络以将图像与其相应的声音相关联。这些结果表明环境声音传达了关于场景结构的令人惊讶的信息，并且它是学习多模峰特征的有用信号。